一、方法学性能标准及其制定
(一)性能标准
性能标准(performance standards,PS)也称分析目标,应根据不同的应用目的(筛选、诊断、预后、监测)而异。由允许分析误差(allowableanalyticalerror)和医学决定水平(medical decision level)这两项内容决定。
⒈允许分析误差 用EA表示,它被规定为95%样品的允许误差限度,即95%的病人样品其误差应小于这个限度。
⒉医学决定水平 用Xc表示,临床判断结果具有意义的分析物浓度。
EA和Xc两项内容,就是一个测定方法的性能指标。但对于每一医学决定水平都应规定相应的性能标准,即在一定Xc值下的EA值。以血清葡萄糖测定为例。在Xcl=2.8mmol/L,Xc2=6.7mmol/L,Xc3=8.9mmol/L时,其相应的EA均为0.56mmol/L,而在Xc4=16.8mmol/L,其EA为1.4mmol/L。
这表示当葡萄糖浓度在2.8mmol/L、6.7mmol/L和8.9mmol/L时,95%的样品具有的误差不得大于0.56mmol/L,而浓度在16.8mmol/L时,95%的样品所具有的误差不得大于1.4mmol/L。这里指的是总误差。
(二)性能标准的制定
制定的性能标准,既应反映临床应用与解释结果的要求,称为医学效用限度(medicalusefulness limits),又应基本符合实验室所能达到的技能状态(state of art)。因此,需要由临床医学家和临床化学家共同研究制定。
⒈根据参考值与参考范围而定的标准这是Tonks于1963年提出的,其公式是:
最大的可允许误差定为±10%,但对某些物质(如酶)则提高到±20%。由于其允许误差以参考范围表示,有临床实用意义,但缺点是参考范围的宽度与试验本身的不精密度有关,一项不精密的方法由于测出的参考范围较宽,以致可制定出较宽的可允许误差限度,就会使一项性能不够好的分析方法的应用合法化。
⒉根据临床观察制定的标准这往往反映参与与制定的医生的经验,综合临床及实验室的意见,提出在医学决定水平上的不精密度标准。还有不准确度及综合不精密度与不准确度的标准。一般说来,在参考范围内的中间及很不正常的水平时,医生允许有较大的变异系数。特别是用于诊断,而不是用于监视疗效的。但在医学决定水平需要最严格的指标。这种方法的缺点是主观成分较大,而且收集临床的意见也很困难,它依赖于临床医生对实验室工作的充分了解。
⒊根据生物学变异制定的不精密度标准生物学变异或称生理变异(CVB)包括个体内变异(CVP)及个体间变异(CVg),也就是通常所说的生理波动。
美国病理学会建议,为了在人群中筛选某些疾病,不精密度(CV)应等于或小于个体内及个体间变异的二分之一(即≤1/2CVB)。对于个别试验,目的在于辅助诊断或监测治疗效果,则CV应小于或等于1/2CVP。但目前文献报告的生物学变异数据不一致,由于这种方法比较好,将来可能会有更多的研究。
⒋根据实验室技能状态制定的标准技能状态是根据技术熟练而且误差最小的一组实验室的数据,计算出在参考范围高限的变异系数作为标准的,这实际上是指当前技术水平所可能达到的技能状态。当然,技能状态有继续进步的趋势,在没有更好的标准以前,技能状态还会继续用作实验室工作性能的标准。对于生物变异相当大的项目,以技能状态作为不精密度的标准更为合适。
二、使用单值判断指标判断
单值判断指标(single-value criteria)较简单,在评价过程中用于初步估量。
⒈计算公式 单值判断指标的计算公式见表20-3
表20-3 单值判断指标
误差类别 | 判断指标 | 备注 |
随机误差(RE) | 1.96TM<EA Xc |
STM=重复试验的标准差 |
比例误差(PE) | (|R-100|)(棧?/FONT>EA 100 |
R=平均回收率 |
恒定误差(CE) | |偏差|<EA | 由干扰试验测出 |
系统误差(SE) | |(a+bXc)-Xc|<EA | 对比试验回归方程 |
总误差(TE=RE+SE) | 1.96STM+|(a+bXc)|<EA | 包括偶然及系统误差 |
⒉结果判断单值判断指标是可接受性能的估计指标。对前述各项实验
结果经计算得到各项误差值后,分别与EA值比较,必须都比EA小,该方法才初步判断为可接受,否则为不可接受,可改进分析方法减少误差或排除该方法。
判断举例:用单值判断指标判断某法测定血肌酐的结果:
设Xc=176.8μmol/L时,EA=35.4μmol/L,
⑴偶然误差
重复性误差:n=20,X=176.8μmol/L,STM=3.536μmol/L
判断:1.96STM=1.96×3.563μmol/L=6.93μmol/L,因RE<EA,偶然误差可以接受。
⑵系统误差:回归方程:n=50,a=-0.98,b=0.925,Y=-0.98+0.925X。
SE=|(a+bXc)-Xc|=|(-0.98+0.925×176.8)-176.8|=14.24μmol/L
判断:|(a+bXc)Xc|<EA,系统误差可以接受。
⑶总误差:RE=6.93μmol/L,SE=14.24μmol/L
判断:RE+SE=6.93+14.24=21.17μmol/L<EA,总误差可以接受,故该方法为可接受。
对于一个判断为不能接受的方法,为了减少某一误差而作了改进,则各个评价试验都须重新进行做。
单值判断指标虽简单,但主要问题是各项试验的样品数都较小,使测定值极可能是分析误差的不可靠测量,最后使实验估计发生错误。因此,只有在假设所有实验结果是绝对正确的前提下,才能进行上述计算。为了在适当的样品数下,能以最小的代价取得实验误差测定的最大可靠性,可用可信区间判断指标。
三、使用可信区间判断指标判断
可信区间判断指标比较复杂,但能对方法性能提供更客观的决定,起最后判断作用。
⒈90%可信区间,可信上限及可信下限统计学的规律说明,每种测定结果的可靠性与测定次数有关,次数愈多,结果反映真实性愈强;但实际上,不可能进行大量的测定。在统计学中为了估量分析误差的不确定性,对于每一误差可计算其可信区间,用可信上限与可信下限代替单值的估量,EU为误差的可信上限,EL为误差的可信下限。West-gard推荐用90%的可信区间,这样,EU将是误差单侧的95%上限,用此判断候选方法的可接受性比较可靠。假如,EU<EA,则方法性能为可接受;假如EL>EA,则方法必须改进,以减少误差,否则排除。假如EU>EA,但EL<EA,说明仅有的数据不足以作出任何有关可接受性的结论,还需继续实验以收集更多的数据,以便对分析误差作出较好的估量。可信区间判断指标见表20-4
表20-4 可信区间判断指标
这些指标在形式上与表20-3的单值判断指标相似,最明显的差别是对每一类型误差用两个判断指标,其一是判断可接受性,其二是判断排除。对RE、PE及CE的判断指标,仅用了误差估量的上限和下限。SE和TE的判断指标较为复杂,引入了一个新的术语“W”。
W是回归线可信区间的宽度(与给定的Xc相对应的Yc值范围),对于一给定的Xc,Yc的上下可信限由方程(a+bXc)±W计算得到。W计算式如下:
W=t(SY/X)〔1/N+(Xc-X)2/∑(Xi-X)2〕1/2
W的大小取决于选择的百分区间(这里是90%),即和选择的值有关(这里选双侧)。W也和回归线标准差SY/x成正比关系,SY/x直接反应方法对比数据的不确定性。中括号内的式子表明,在N很大,Xc=X,W很小,若Xc无论在哪一方向逐渐偏高X,则(Xc-X)之差增大,W也增大。如图20-3表示。
图20-3 回归线的可信区间
⒉计算举例这里介绍某血清钙测定方法的各种评价实验数据,用五个例子概括说明。需指出的是,作为误差估量的上下限,必须具有相同的代数符号,否则下限应取作零。
例一用可信区间判断指标确定偶然误差(RE)是否为可接受。
由重复性试验获得:N=21,Y=11.0mmol/L,STM=0.08mmol/L
假设Xc=11.0mmol/L时,EA=0.5mmol/L,
⑴计算STN的95%可信限
STMU=STM×fu STML=STM×fL
由表20-5查自由度
df=(N-1)fU、fL的值(f为计算因素)
现N=21,df=20,fU=1.358,fL=0.7979
则:STMU=0.08×1.358=0.11mmol/L
STML=0.08×0.7979=0.06mmol/L
表20-5计算单侧可信限(95%)的f值
df | fu | fl |
10 | 1.593 | 0.7391 |
20 | 1.358 | 0.7979 |
30 | 1.274 | 0.8279 |
40 | 1.228 | 0.8480 |
60 | 1.179 | 0.8710 |
80 | 1.151 | 0.8860 |
100 | 1.133 | 0.8968 |
⑵计算REU和REL
REU=1.96STMU=1.96×0.11=0.22mmol/L
REL=1.96STML=1.96×0.06=0.12mmol/L
⑶将以上估量值与EA比较
REU<EA即0.22<0.5。因此,由重复性试验所得的RE是在可接受的低水平上。
例二由可信区间判断指标判断比例误差(PE)是否为可接受。
回收试验的数据:N=9,R=99、98、98、99、100、98、99、100(%)
设:Xc=11.0mmol/L,EA=0.5mmol/L
⑴计算平均回收率R及标准误SR:
R=98.9% SR=0.78%
⑵计算平均回收率的标准误SR:
表20-6 90%可信区间或95%可信限的t值
df | T | df | t |
3 | 2.35 | 12 | 1.78 |
4 | 2.13 | 14 | 1.76 |
5 | 2.02 | 16 | 1.75 |
6 | 1.94 | 20 | 1.72 |
7 | 1.90 | 25 | 1.71 |
8 | 1.86 | 30 | 1.70 |
9 | 1.83 | 40 | 1.68 |
10 | 1.81 | 120 | 1.66 |
⑶计算R的95%可信限
RU=R+t×SR RL=R-t×SR
从表20-6 t值表中查t值
现N=9,df=8,t0.01=1.86
则:RU=98.9+1.86×0.26
98.9+0.48=99.4%
RL=98.9-1.86×0.26
=98.9-0.484=98.42%
⑷计算%PE的上下可信限:
%PEU=|RU或L-100|U
%PEL=|RU或L-100|L
%PEU=|98.4-100|=1.6%
%PEL=|99.4-100|=0.6%
⑸将%PEU及%PEL与Xc相乘,换算成浓度单位%PEU及%PEL。
PEU=%PEU·Xc=1.6%×11.0mmol/L=0.18mmol/L
PEL=%PEL×Xc=0.6×11.0mmol/L=0.07mmol/L
⑹将以上测得的PRU值与EA作比较
PEU<EA即0.18<0.5。因此,作为回收试验测得的PE值是在可接受的低水平上。
例三用可信区间判断指标确定恒定误差(CE)是否为可接受。
由干扰试验得到下列数据表20-7
表20-7 干扰试验结果
标本号 | 测得浓度mmol/L | 干扰值 Mmol/L |
|
未加干扰物 | 加干扰物 | ||
1 | 10.72 | 10.69 | -0.03 |
2 | 8.56 | 8.51 | -0.05 |
3 | 11.60 | 11.58 | -0.02 |
4 | 6.45 | 6.41 | -0.04 |
5 | 14.12 | 14.08 | -0.04 |
6 | 12.30 | 12.27 | -0.03 |
7 | 9.75 | 9.72 | -0.03 |
8 | 5.84 | 5.82 | -0.02 |
9 | 10.41 | 10.38 | -0.03 |
设:Xc=11.0mmol/L,EA=0.5mmol/L
⑴计算平均干扰值d及标准差Sd:
d=0.032mmol/L,Sd=0.0097mmol/L
⑵计算CE的95%可信限:
从表20-6查得当N=9,df=8,t0.01=1.86
⑶将以上CE值与EA作比较
CEU<EA即0.038<0.5,因此,通过试验测得的CE值,在可接受的水平。
例四用可信区间判断指标确定系统误差(SE)是否为可接受。
由方法对比试验得到下列数据:
N=109,a=0.25mmol/L,b=0.981,SY/x=0.351mmol/L,X=8.42mmol/L,Sx=5.42mmol/L
设:Xc=11.0mmol/L时,EA=0.5mmol/L
⑴计算相当于Xc的候选方法Yc值:
Yc=a+bXc=0.25+0.981×11.0=11.04mmol/L
⑵计算Yc的可信区间宽度W:
W=t(SY/x)〔1/N+(Xc-X)2/∑(Xi-X)2〕1/2〕
查表20-6,N=109,df用120,t=1.66
从Sx式中计算∑(Xi-X)2,即
则∑(Xi-X)2=Sx2(N-1),因此
∑(Xi-X)2=(5.42)2(109-1)=3172.65
将各数据代入得
W=1.66(0.351)〔1/109+(11.0-8.42)2/3172.65〕1/2=0.062mmol/L
⑶计算SEU及SEL:
SEU=|(Yc±W)-Xc|U=|(11.04+0.062)-11.0|U=0.102mmol/L
SEL=|(Yc±W)-Xc|L=|(11.04-0.062)-11.0|L=0.022mmol/L
注意:用+W还是用-W,需视能获得较大的SEU值而定。
⑷将以上SEU值与EA值作比较
SEU<EA,即0.102<0.5,因此,从方法对比试验中测得的系统误差在可接受的低水平。
例五 用可信区间判断指标确定总误差(TE)是否不为可接受。
用例一重复试验和例四方法比较试验所得RE及SE计算总误差。
设:Xc=11.0mmol/L时,EA=0.5mmol/L,
⑴计算TEU:
⑵计算TEL:
⑶将以上TE值和EA值作比较
TEU<EA,即0.27<0.5,因此,TE值已足以小到可接受的水平。
如果候选方法被得出可接受性的结论,那么接着就要进行评价后实施;最后进入方法应用阶段。不要以为一经评价合格的方法就可产生高质量的结果,还须建立质控系统,以便随时发现合格的方法在实施过程中出现的问题。要善于发现其中还存在的不足并进一步研究解决使其日臻完善。
评价实验完成以后,应该写出书面报告,报告中除了叙述操作方法(包括试剂配制与所需器材)以外,应着重写出所选方法的各项性能指标,要特别重视实验数据的科学整理与客观陈述。评价实验的结果也可整理成论文在专业杂志上发表。